مجله اینترنتی طراحی سایت

بعداز اینکه فولدر robots.txt خویش را ساختید، می بایست آن را در کنسول گوگل طراحی سایت در مشهد نیز قرار دهید. براین اساس ربات‌های گوگل خیلی سریع‌خیس به صفحه های allow یا این که disallow تارنما شما دسترسی پیدا خواهند کرد و سایتتان را سریع‌خیس میخزند.

برای این خواسته می بایست این لینک و پیوند را گشوده نمائید.

در لینک و پیوند گشوده گردیده، تارنما آیتم نظرتان را گزینش فرمائید. اگر پیش از اینً در کنسول گوگل تصویب‌اسم نکرده باشید در اینجا بایستی فرآیند تصویب‌اسم را جاری ساختن دهید.

بعداز تعیین وبسایت موردنظر، وارد کاغذ‌ای می شوید که در صورتیکه پیش از اینً فولدر robots.txt را آپلود کرده باشید، محتویات پوشه پیشین را نشانه میدهد.

در غیر این شکل پوشه robots.txt را از نوار ذیل شیت آپلود کرده و دکمه submit را کلیک فرمائید.

به همین آسانی، پوشه شما به گوگل معرفی می شود و گوگل ربات‌هایش را طبق راهنمای شما به سمت سایتتان روانه خواهد کرد.

 

گردآوری بندی

 

برای اینکه درباره‌ی طریق خزش و کرال کردن وب سایت‌مان به موتورهای کاوش و گوگل امداد کنیم، فایلی به اسم robots.txt می سازیم که درین فولدر متنی به امداد امرها متفاوت به کرالرها میگوییم که کدام صفحه های را خزش کرده یا این که نکنند.